Sau khi Lý Quảng về kinh, triều đình giao Quảng cho các quan xét tội. Các quan cho rằng số người và ngựa của Lý Quảng chết và lạc mất nhiều, bản thân ông bị giặc bắt sống nên kết án chém đầu. Ông bèn đem tiền ra chuộc mạng nên được về làm dân thường.

Nhà của Lý Quảng ở gần nhà người cháu của Dĩnh Âm hầu Quán Anh. Hai người từ khi về quê thường cùng nhau vào trong núi săn bắn. Một lần khi về đến đình Bá Lăng, viên úy Bá Lăng say, quát Quảng dừng lại. Người cưỡi ngựa theo Quảng nói thân thế của ông nhưng viên úy vẫn một mực giữ ông ngủ lại dưới đình.

Mấy năm sau, Hung Nô lại dẫn quân đánh Hán, giết quan thái thú Liêu Tây, đánh bại quân của tướng Hàn An Quốc. Hán Vũ Đế bèn gọi ông về triều là thái thú Hữu Bắc Bình. Ông bèn xin cho viên úy Bá Lăng cùng di, khi y tới Lý Quảng sai chém chết. Từ khi Lý Quảng ra Bắc Bình, quân Hung Nô hoảng sợ không dám đến nữa.[3]

Trong thời gian đó, có lần Lý Quảng đi săn, thấy tảng đá ở trong cỏ, tưởng là con hổ, ông dương cung bắn đến khi kiểm tra thì ra là một tảng đá nhưng mũi tên của ông bắn vào đã ngập tảng đá.